PrecSezione 7.4: Trasformazione di v.a. e cambio di variabili SuCapitolo 7: Probabilità, processi, decisione statistica Sezione 7.6: AppendiciSegue

## 7.5Elementi di statistica ↓

La statistica si occupa dell’utilizzo numerico di osservazioni e misure, il cui esito viene pensato come il risultato di un fenomeno aleatorio, ad es. al fine di inferire [266] [266]Vedi ad es. `http://it.wikipedia.org/wiki/Inferenza_statistica` dai dati la plausibilità di ipotesi... Ma le cose si rendono interessanti per il fatto che

- potendo ripetere la misura e/o l’osservazione più volte, è possibile ridurre il margine di errore, e migliorare l’affidabilità della decisione;
- non è detto che la d.d.p. del fenomeno in esame sia completamente definita.

Ad esempio, la d.d.p. che produce i valori di osservazione può essere nota, a meno del valore dei suoi parametri media e varianza: compito della statistica è allora anche quello di stimare grandezze altrimenti ignote. Senza alcuna ambizione di affrontare compiutamente l’argomento, limitiamoci qui ad esporre brevemente questi particolari campi applicativi.

### 7.5.1Verifica di ipotesi↓

Si tratta del tema illustrato al § 7.6.2↓, ossia di affermare se una certa ipotesi H1 sia da ritenere valida, e con quali margini probabilistici. La terminologia generale prevede che il valore di probabilità prima indicato come Pfa (decidere per H1 quando è vera H0) sia detto errore di primo tipo o livello di significatività↓ del test, e indicato con α, mentre il valore Pd (decidere correttamente per H1) è detto potenza del test, ed indicato come 1  −β, dove β evidentemente è la probabilità di perdita Pp o errore di secondo tipo. Conoscendo la d.d.p. pX(x⁄H0) della grandezza di osservazione X quando è vera H0, si calcola una soglia γ tale che Pr(x>γ⁄H0)=∫∞γpX(x⁄H0)=αmin, tale cioé da rendere Pfa=αmin, in genere posto pari a 0.05 (ovvero il 5%).
Qualora l’osservazione di x̌>γ faccia decidere per H1, spesso al risultato si aggiunge anche la probabilità ∫∞x̌pX(x⁄H0) detta p-value↓ [267] [267]Vedi ad es. `http://en.wikipedia.org/wiki/P-value`, che descrive quanto sia poco probabile osservare un campione x che si discosti ancor più da H0 di quanto non sia riuscito il “nostro” campione x̌, e che perciò indica meglio di α la significatività del test, ovvero la discrepanza tra i dati osservati e l’ipotesi nulla H0. Naturalmente, per tutti i possibili campioni x>γ si osserva un p−value<αmin.

### 7.5.2Funzione di verosimiglianza↓

Viene definita a partire da una probabilità condizionata↓, qualora nella stessa espressione siano invertiti il ruoli di evento condizionato e condizionante: rimanendo nel campo della verifica di ipotesi, le d.d.p. condizionate pX(x⁄H0) e pX(x⁄H1), qualora valutate entrambe per lo stesso x=x̌ (la effettiva osservazione), possono essere interpretate come il valore di verosimiglianza per le ipotesi H0 ed H1, che quindi ribaltano il ruolo da evento condizionante a variabile indipendente. Ma attenzione, una verosimiglianza non è una probabilità, in quanto pX(x̌⁄H0)  +pX(x̌⁄H1) ≠ 1 ! La funzione di verosimiglianza (o likelihood) è spesso indicata con la lettera ℒ, in modo da poter scrivere ℒ(H0,  1⁄x̌)=pX(x̌⁄H0, 1).

### 7.5.3Decisione di massima verosimiglianza↓

Riprendendo il tema della verifica di ipotesi § 7.5.1↑, osserviamo che qualora la soglia di decisione γ non sia assegnata in base al livello di significatività Pfa=αmin desiderato, ma in corrispondenza della intersezione tra pX(x⁄H0) e pX(x⁄H1), come avviene in fig. 7.16↓, la decisione stessa è detta di massima verosimiglianza, dato che sceglie l’ipotesi Hi per la quale la funzione di verosimiglianza ℒ(Hi⁄x̌) è massima. Ma anche in questo caso, alla decisione ottenuta per x̌ è possibile associare il relativo p-value. A volte, anziché confrontare tra di loro i valori di ℒ, se ne esegue il rapporto, decidendo quindi in base all’esito maggiore o minore di uno (vedi ad es. pag. 1↓).

### 7.5.4Stima di parametro ↓

Nel caso in cui si conosca il tipo di v.a. che caratterizza un fenomeno aleatorio in esame, ma non i suoi parametri (es. media e varianza), gli stessi valori osservati x=(x1,x2, ⋯xN) possono essere usati per addivenire ad una loro stima. Indicando con θ il vero (incognito) valore di un parametro da stimare, il suo stimatore θ̂(x) dipende dalla variabilità di x e quindi è esso stesso una v.a., che può essere caratterizzata nei termini della sua d.d.p pΘ̂(θ̂), media mθ̂ e varianza σ2θ̂.
Mentre per uno specifico vettore di osservazioni x lo stimatore commette un errore ε(x)=^θ(x)−θ, desidereremmo che il valore atteso di tale errore fosse nullo, ovvero che E{^θ(x)}=mθ̂=θ, nei cui caso lo stimatore è detto non polarizzato. Per quanto riguarda la varianza σ2^θ=E{(^θ(x)−mθ̂)2}, vorremmo che fosse la più piccola possibile. Uno stimatore non polarizzato e che consegue la minima varianza tra i possibili stimatori è detto efficiente e soddisfa la disugaglianza di Rao-Cramér [268] [268]Vedi ad es. `http://it.wikipedia.org/wiki/Disuguaglianza_di_Cramér-Rao`; se all’aumentare della dimensione N del campione x, tende ad uno la probabilità che ^θ(x)=θ, allora lo stimatore è detto consistente. Infine, uno stimatore consistente è anche asintoticamente normale se all’aumentare di N la sua d.d.p. tende ad una gaussiana [269] [269]Ad esempio, il teorema centrale del limite (§ 7.2.4↑) fa si che la media campionaria ^mx=(1)/(N)∑Ni= 1xi, in quanto somma di v.a. indipendenti e identicamente distribuite, tenda ad una gaussiana per N→ ∞., con valor medio θ e varianza che si riduce come 1⁄N.
Al § seguente esaminiamo una tra le diverse tecniche [270] [270]Vedi ad es. `http://en.wikipedia.org/wiki/Point_estimation` che consentono di arrivare ad una formula di stima.

### 7.5.5Stima di massima verosimiglianza ↓

In questo caso il valore stimato è quello che massimizza la funzione di verosimiglianza (§ 7.5.2↑) calcolata in corrispondenza ai dati campionari: ^θ=\undersetθargmax{ℒ(θ⁄x̌)}. Ad esempio, nel caso in cui i valori osservati x̌=(x1,x2, ⋯xN) siano ottenuti da un fenomeno aleatorio con d.dp. gaussiana con media mx e varianza σ2x, e gli esperimenti siano statisticamente indipendenti, la funzione di verosimiglianza risulta [271] [271]Vedi § 9.10.2↓ per l’espressione di una gaussiana multidimensionale.
ℒ(mx,σ2x⁄x̌)=pX(x̌⁄mx,σ2x)=N∏i= 1(1)/(√(2πσ2x))exp⎧⎩−(1)/(2)⎛⎝(xi−mx)/(σx)⎞⎠2⎫⎭
ma a questa espressione si preferisce il suo logaritimo naturale L= lnℒ, che essendo monotono non altera la massimizzazione cercata:
L(mx,σ2x|x̌)= lnℒ(mx,σ2x|x̌)=  −(n)/(2)ln(2πσ2x)  −(1)/(2)n⎲⎳i= 1⎛⎝(xi−mx)/(σx)⎞⎠2
Per trovare le stime m̂x e σ̂2x di massima (log)verosimiglianza, si eguagliano a zero le derivate parziali di L:
(∂L)/(∂mx) = (1)/(σ2x)N⎲⎳i= 1(xi−mx)  = 0 (∂L)/(∂σ2x) = −(n)/(2)(1)/(σ2x)+(1)/(2σ4x)N⎲⎳i= 1(xi−mx)2= 0
ottenendo gli stimatori (o statistiche) [272] [272]Per quanto riguarda m̂x, imponendo ∑i(xi−m̂x) = 0 si perviene facilmente al risultato, mentre per σ̂2x l’eguaglianza a zero produce (1)/(2σ̂4x)∑i(xi−m̂x)2=(n)/(2)(1)/(σ̂2x) → (1)/(σ̂2x)∑i(xi−m̂x)2=N e quindi il risultato.
⎧⎨⎩ m̂x=(1)/(N)N⎲⎳i= 1xi media campionaria σ̂2x=(1)/(N)N⎲⎳i= 1(xi−m̂x)2 varianza campionaria
Verifichiamo ora le loro proprietà. Per quanto riguarda m̂x, la media campionaria↓ risulta non polarizzata, ovvero [273] [273]Infatti E{m̂x}=E⎧⎩(1)/(N)∑Ni= 1xi⎫⎭=(1)/(N)∑Ni= 1E{xi}=(1)/(N)Nmx=mx E{m̂x}=mx, mentre la sua varianza risulta [274] [274]In questo caso riscriviamo m̂x come m̂x=∑Ni= 1(xi)/(N), consideriamo che la varianza di una somma di v.a. i.i.d. è la somma delle varianze (vedi § 9.7.2↓), e che σ2aX=a2σ2X: pertanto si ottiene σ2m̂x=∑Ni= 1(σ2x)/(N2)=(σ2x)/(N). σ2m̂x=σ2x⁄N: pertanto, la media campionaria è uno stimatore consistente e asintoticamente normale. In particolare, la proprietà σ2m̂x=σ2x⁄N è quella che ci permette di ridurre a piacimento la variabilità della osservazione, ripetendola un adeguato numero di volte.
Per quanto riguarda la stima di varianza↓ σ̂2x, i calcoli per determinare il suo valore atteso mσ̂2x=E⎧⎩(1)/(N)∑Ni= 1(xi−m̂x)2⎫⎭ passano prima per la dimostrazione [275] [275]Occorre innanzitutto riscrivere xi−m̂x come xi−mx+mx−m̂x=(xi−mx)−(m̂x−mx), in modo da ottenere (xi−m̂x)2=(xi−mx)2− 2(xi−mx)(m̂x−mx)+(m̂x−mx)2. Eseguendo ora la sommatoria su i si ottiene
⎲⎳i(xi−m̂x)2 = ⎲⎳i(xi−mx)2− 2(m̂x−mx) ⎲⎳i(xi−mx)+ ⎲⎳i(m̂x−mx)2 = ⎲⎳i(xi−mx)2− 2N(m̂x−mx)2+N(m̂x−mx)2= ⎲⎳i(xi−mx)2−N(m̂x−mx)2
in quanto ∑i(xi−mx)=∑ixi−∑imx=Nm̂x−Nmx=N(m̂x−mx). che ∑i(xi−m̂x)2=∑i(xi−mx)2−N(m̂x−mx)2, in modo da ottenere
mσ̂2x = (1)/(N)N⎲⎳i= 1E{(xi−mx)2}−(N)/(N)E{(m̂x−mx)2}= = (1)/(N)Nσ2x−(σ2x)/(N)=σ2x(N− 1)/(N)
dato che il primo termine corrisponde all’espressione della varianza di X, ed il secondo a quella della varianza di m̂x, calcolata prima. Il risultato ottenuto indica come la varianza campionaria si riveli uno stimatore polarizzato. Per questo, la formula dello stimatore (di massima verosimiglianza) della varianza viene ordinariamente sostituita dalla espressione
σ̂2x=(1)/(N− 1)N⎲⎳i= 1(xi−m̂x)2
PrecSezione 7.4: Trasformazione di v.a. e cambio di variabili SuCapitolo 7: Probabilità, processi, decisione statistica Sezione 7.6: AppendiciSegue